图像文本检索（ITR）在桥接视觉和舌形式方面具有挑战性。对比度学习已被大多数先前的艺术所采用。除了有限的负面图像文本对外，约束学习的能力受到手动加权负对以及对外部知识的不认识的限制。在本文中，我们提出了新型耦合多样性敏感的动量约束学习（编码器），以改善跨模式表示。首先，发明了一种新颖的多样性对比度学习（DCL）体系结构。我们引入了两种模式的动态词典，以扩大图像文本对的比例，并且通过自适应负面对加权实现多样性敏感性。此外，编码器设计了两个分支。一个人从图像/文本中学习实例级的嵌入式，它还基于其嵌入为其输入图像/文本生成伪在线聚类标签。同时，另一个分支学会从常识知识图中查询以形成两种模式的概念级描述符。之后，两个分支都利用DCL来对齐跨模式嵌入空间，而额外的伪聚类标签预测损失则用于促进第二个分支的概念级表示学习。在两个流行的基准测试（即Mscoco和Flicker30k）上进行的广泛实验，验证编码器的表现明显优于最先进的方法。

学习（IL）是数据挖掘应用中广泛存在的重要问题。典型的IL方法利用直观的类努力重新采样或重新重量直接平衡训练集。然而，特定领域的一些最近的研究努力表明，在没有课堂上操纵的情况下可以实现类别不平衡的学习。这提示我们思考两种不同的IL战略之间的关系和班级不平衡的性质。从根本上说，它们对应于IL中存在的两个必要的不平衡：来自不同类别的示例之间的数量差异以及单个类中的易于和硬示例之间，即阶级和级别的帧内不平衡。现有工程未能明确地考虑不平衡，因此遭受次优绩效。鉴于此，我们呈现了双重平衡的集合，即杜博士，一个多功能的集合学习框架。与普遍方法不同，Dube直接执行级别的级别和级别的平衡，而无需依赖基于距离的距离的计算，这允许它在计算效率时实现竞争性能。我们还提出了关于基于杜博伊的不同间/内部平衡策略的优缺点的详细讨论和分析。广泛的实验验证了所提出的方法的有效性。代码和示例可在https://github.com/iCde20222sub/duplebalance获得。

Imbalanced-leasemble，缩写为IMBens，是一个开源Python工具箱，用于快速实现和部署类别 - 不平衡数据的集合学习算法。它提供对多个最先进的集合不平衡学习（EIL）方法，可视化器和公用事业功能的访问，以处理类别不平衡问题。这些集合方法包括基于重采样的，例如/过度采样，以及重量基于/过度采样，例如，敏感的学习。除了实现之外，我们还扩展了传统的二进制EIL算法，与多级支持和重采样调度程序等新功能，从而使它们能够处理更复杂的任务。该软件包是在简单的，良好的API设计中开发的，遵循Scikit-Gearn的易于使用。 IMBens在MIT开源许可证下发布，可以从Python包索引（PYPI）安装。 https://github.com/zhiningliu1998/imbalanced-ensemble可以使用源代码，二进制文件，详细文档和使用示例。

在许多现实世界应用中，可靠的概率估计在具有固有的不确定性的许多现实应用中至关重要，例如天气预报，医疗预后或自动车辆的碰撞避免。概率估计模型培训观察到的结果（例如，它是否已下雨，或者是否患者是否已死亡），因为感兴趣事件的地面真理概率通常是未知的。因此，问题类似于二进制分类，具有重要差异，即目标是估计概率而不是预测特定结果。这项工作的目标是使用深神经网络调查从高维数据的概率估计。存在几种方法来改善这些模型产生的概率，但它们主要专注于概率与模型不确定性相关的分类问题。在具有固有的不确定性问题的情况下，在没有访问地面概率的情况下评估性能有挑战性。要解决此问题，我们构建一个合成数据集以学习和比较不同的可计算度量。我们评估了合成数据以及三个现实世界概率估计任务的现有方法，所有这些方法都涉及固有的不确定性：从雷达图像的降水预测，从组织病理学图像预测癌症患者存活，并预测从Dashcam视频预测车祸。最后，我们还提出了一种使用神经网络的概率估计的新方法，该方法修改了培训过程，促进了与从数据计算的经验概率一致的输出概率。该方法优于模拟和真实数据上大多数度量的现有方法。

嘈杂的标签通常在现实世界数据中找到，这导致深神经网络的性能下降。手动清洁数据是劳动密集型和耗时的。以前的研究主要侧重于加强对嘈杂标签的分类模型，而对嘈杂标签的深度度量学习（DML）的鲁棒性仍然较少。在本文中，通过提出与DML的内存（棱镜）方法提出基于概率排名的实例选择来弥合这一重要差异。棱镜计算清洁标签的概率，并滤除潜在的噪声样本。具体地，我们提出了一种新方法，即Von Mises-Fisher分配相似性（VMF-SIM），通过估计每个数据类的VON MISES-FISHER（VMF）分布来计算这种概率。与现有的平均相似性方法（AVGSIM）相比，除了平均相似度之外，VMF-SIM还考虑每个类的方差。通过这种设计，所提出的方法可以应对挑战的DML情况，其中大多数样本是嘈杂的。在合成和现实世界嘈杂的数据集中的广泛实验表明，拟议的方法在合理的培训时间内实现了高达@ 1的精度高达8.37％的精度@ 1。

The behaviors of deep neural networks (DNNs) are notoriously resistant to human interpretations. In this paper, we propose Hypergradient Data Relevance Analysis, or HYDRA, which interprets the predictions made by DNNs as effects of their training data. Existing approaches generally estimate data contributions around the final model parameters and ignore how the training data shape the optimization trajectory. By unrolling the hypergradient of test loss w.r.t. the weights of training data, HYDRA assesses the contribution of training data toward test data points throughout the training trajectory. In order to accelerate computation, we remove the Hessian from the calculation and prove that, under moderate conditions, the approximation error is bounded. Corroborating this theoretical claim, empirical results indicate the error is indeed small. In addition, we quantitatively demonstrate that HYDRA outperforms influence functions in accurately estimating data contribution and detecting noisy data labels. The source code is available at https://github.com/cyyever/aaai_hydra_8686.

Large language models (LLMs) have demonstrated excellent zero-shot generalization to new language tasks. However, effective utilization of LLMs for zero-shot visual question-answering (VQA) remains challenging, primarily due to the modality disconnection and task disconnection between LLM and VQA task. End-to-end training on vision and language data may bridge the disconnections, but is inflexible and computationally expensive. To address this issue, we propose \emph{Img2Prompt}, a plug-and-play module that provides the prompts that can bridge the aforementioned modality and task disconnections, so that LLMs can perform zero-shot VQA tasks without end-to-end training. In order to provide such prompts, we further employ LLM-agnostic models to provide prompts that can describe image content and self-constructed question-answer pairs, which can effectively guide LLM to perform zero-shot VQA tasks. Img2Prompt offers the following benefits: 1) It can flexibly work with various LLMs to perform VQA. 2)~Without the needing of end-to-end training, it significantly reduces the cost of deploying LLM for zero-shot VQA tasks. 3) It achieves comparable or better performance than methods relying on end-to-end training. For example, we outperform Flamingo~\cite{Deepmind:Flamingo2022} by 5.6\% on VQAv2. On the challenging A-OKVQA dataset, our method even outperforms few-shot methods by as much as 20\%.

GPT-3 (Generative Pre-trained Transformer 3) is a large-scale autoregressive language model developed by OpenAI, which has demonstrated impressive few-shot performance on a wide range of natural language processing (NLP) tasks. Hence, an intuitive application is to use it for data annotation. In this paper, we investigate whether GPT-3 can be used as a good data annotator for NLP tasks. Data annotation is the process of labeling data that could be used to train machine learning models. It is a crucial step in the development of NLP systems, as it allows the model to learn the relationship between the input data and the desired output. Given the impressive language capabilities of GPT-3, it is natural to wonder whether it can be used to effectively annotate data for NLP tasks. In this paper, we evaluate the performance of GPT-3 as a data annotator by comparing it with traditional data annotation methods and analyzing its output on a range of tasks. Through this analysis, we aim to provide insight into the potential of GPT-3 as a general-purpose data annotator in NLP.

空间红外的小型船舶检测旨在将小型船只与轨道轨道捕获的图像分开。由于图像覆盖面积极大（例如，数千平方公里），这些图像中的候选目标比空中基于天线和陆基成像设备观察到的目标要小得多，二聚体，更可变。现有的简短成像基于距离的红外数据集和目标检测方法不能很好地用于空间监视任务。为了解决这些问题，我们开发了一个空间红外的小型船舶检测数据集（即Nudt-Sirst-Sea），该数据集具有48个空间基红外图像和17598像素级的小型船上注释。每个图像覆盖约10000平方公里的面积，带有10000x10000像素。考虑到这些充满挑战的场景，考虑到这些微小的船只的极端特征（例如，小，昏暗，可变的），我们在本文中提出了多层Transunet（MTU-NET）。具体而言，我们设计了视觉变压器（VIT）卷积神经网络（CNN）混合编码器来提取多层次特征。首先将局部特征图用几个卷积层提取，然后馈入多级特征提取模块（MVTM）以捕获长距离依赖性。我们进一步提出了一种拷贝性衡量量 - 帕斯特（CRRP）数据增强方法，以加速训练阶段，从而有效地减轻了目标和背景之间样本不平衡问题的问题。此外，我们设计了一个焦点损失，以实现目标定位和形状描述。 NUDT-SIRST-SEA数据集的实验结果表明，就检测概率，错误警报率和联合交集的交集而言，我们的MTU-NET优于传统和现有的基于深度学习的SIRST方法。

由长期记忆复发网络（LSTM-RNN）和变压器代表的最先进的神经网络语言模型（NNLMS）和变压器变得非常复杂。当获得有限的培训数据时，它们容易过度拟合和泛化。为此，本文提出了一个总体完整的贝叶斯学习框架，其中包含三种方法，以说明LSTM-RNN和Transformer LMS的潜在不确定性。分别使用贝叶斯，高斯过程和变异LSTM-RNN或变压器LMS对其模型参数，神经激活的选择和隐藏输出表示的不确定性。有效的推理方法被用来自动选择使用神经体系结构搜索的最佳网络内部组件作为贝叶斯学习。还使用了最少数量的蒙特卡洛参数样本。这些允许贝叶斯NNLM培训和评估中产生的计算成本最小化。实验是针对两项任务进行的：AMI符合转录和牛津-BBC唇读句子2（LRS2）使用最先进的LF-MMI培训的有效的TDNN系统重叠的语音识别，具有数据增强，扬声器的适应和多种音频，频道横梁成形以进行重叠的语音。基线LSTM-RNN和Transformer LMS具有估计的模型参数和辍学正则化的一致性改进，就困惑性和单词错误率（WER）获得了两项任务。特别是，在LRS2数据上，在基线LSTM-RNN和Transformer LMS中，在贝叶斯NNLMS及其各自的Baselines之间的模型组合后，在基线LSTM-RNN和Transferes LMS上分别获得了最高1.3％和1.2％的绝对降低（相对12.1％和11.3％）。 。